MADA-RL: Multi-Agent Debate-Aware Reinforcement Learning for Parameter-Efficient Reasoning in Compact Models
MADA-RL：紧凑模型参数高效推理的多智体辩论强化学习
🧭 多智体辩论强化学习 · 参数高效微调
Bosch Center for Artificial Intelligence, Germany · LMU Munich, Germany · University of Oslo, Norway · University of Cambridge, United Kingdom · Munich Center for Machine Learning, Germany
通过辩论感知RL训练紧凑模型作为生成器和评论家，利用反事实优势函数让评论家超越生成器共识，参数效率提升16倍
📌 工作参考价值（4 点）
- 多智体辩论可迁移至搜索推荐：让多个生成器提出 query 或推荐理由，评论家评估并修正，RL 优化评论家识别生成器错误，提升整体质量。
- 参数高效微调：只用 LoRA 适配器微调小部分参数，适合业务中受限的算力 budget，可快速迭代。
- 反事实优势函数设计：奖励评论家超越生成器共识的改进，而非简单模仿，可借鉴用于推荐系统的多模型融合或排序打分修正，避免平庸共识。
- 轻量多轮部署协议：训练好的角色可在推理中组合辩论，作为后处理或过滤模块，直接嵌入现有推荐管道。